El área $(A)$ la calculamos como base x altura. Es decir, 

$A = x \cdot y$

Ahora, a nosotros nos piden expresar nuestra función área en función de la longitud de uno de sus lados (por ejemplo, sólo en función de $x$). Pero no hay problema, porque hay una relación entre $x$ e $y$ y que sale de plantear que el perímetro tiene que ser igual a $20$. Es decir, la suma de todos los lados nos tienen que dar $20$. Planteeemos eso:

$x + x + y + y = 20$

$2x + 2y = 20$

$2 (x+y) = 20$

$x + y = 10$

$y = 10 - x $

Perfecto, pudimos escribir $y$ en términos de $x$. Entonces, nuestra función área es:

$A(x) = x \cdot (10 - x)$

Ahora, con respecto al dominio. En principio vos ves esta función y no tiene ninguna restricción (no hay divisiones, no hay raíces pares, no hay logaritmos), así que uno se ve tentado a decir que el dominio son todos los números reales. Pero ojo, acá hay un contexto, este es un problema real (ponele) y entonces los lados del rectángulo no pueden valer $0$ ni un número negativo, los lados tienen que ser necesariamente positivos. Es decir, tenemos que pedir que

$x > 0$

$ 10 - x > 0 \Rightarrow x < 10$ 

Por lo tanto, este problema sólo tiene sentido físico si $x \in (0,10)$ y este es el dominio de la función =)